Cómo (intentar) evitar que tu experimento se convierta en un desastre
Deserción (variables de resultado con datos faltantes)
Incumplimiento
Derrame
Efecto Hawthorne
Tratamiento diferencial de los distintos brazos de tratamiento
Repaso de los supuestos principales
Exclusión
No interferencia
Asignación aleatoria de sujetos al tratamiento
Algunas unidades pueden tener datos faltantes para las variables de resultado (= las unidades desertan) cuando:
Esto es problemático cuando los datos faltantes han sido ocasionados por el tratamiento.
Si analizamos los datos descartando unidades con datos faltantes para la variable de resultado, entonces ya no estaríamos comparando grupos de tratamiento y control similares.
Compruebe si las tasas de deserción son similares en los grupos de tratamiento y control.
Compruebe si las covariables de los grupos de tratamiento y control tienen padrones similares.
No elimine las observaciones con datos faltantes en las variables de resultado.
A veces, cuando faltan datos en la variable de resultados, podemos acotar (“bound”) nuestras estimaciones del efecto del tratamiento.
Podemos aprender sobre el efecto causal de un experimento incluso sin esas covariables
Podemos usar la covariable de contexto según lo planeado imputando los datos faltantes
También podemos condicionar nuestro análisis directamente a esos datos faltantes
En algunas ocasiones las unidades que son asignadas al tratamiento terminan no recibiéndolo. Es decir, no cumplen la asignación.
Si todas las unidades asignadas al grupo de control no toman el tratamiento, pero sólo algunas unidades asignadas al tratamiento sí lo toman, estamos frente a un caso de incumplimiento unilateral.
El efecto de ser asignado al tratamiento no es el mismo que el de recibir el tratamiento.
El efecto de recibir el tratamiento es comunmente conocido como “efecto local promedio del tratamiento” (Local Average Treatment Effect, LATE) o efecto promedio del tratamiento para el cumplidor (Complier Average Causal Effect, CACE).
La palabra “local” hace referencia a la idea de que el efecto solo aplica para las personas que toman el tratamiento cuando son asignadas a éste (el tipo de personas).
A veces tendremos sospechas de que la asignación al tratamiento de una unidad afecta los resultados de otras unidades.
Si el tratamiento de una unidad afecta el resultado de otra unidad, estamos violando uno de los supuestos básicos de inferencia causal.
Podemos seleccionar unidades que están lejos unas de otras para evitar la “transmisión” del tratamiento entre unidades.
Esto no es un problema si diseñas un estudio que permita investigar el derrame, es decir, que los resultados de una unidad pueden depender del tratamiento de otras unidades.
Para investigar los efectos de derrame:
Podemos recolectar datos de la variable de resultado para las unidades que nunca fueron elegibles para la asignación aleatoria al tratamiento, pero que estaban cerca de unidades que sí eran elegibles para el tratamiento y que pudieron verse afectadas por efectos de derrame.
Podemos utilizar un diseño de asignación aleatoria en dos etapas.
Podemos asignar grupos de unidades (p. Ej., Distritos) a diferentes niveles de intensidad de tratamiento (p. Ej., Usar una proporción diferente de aldeas en los distritos asignados al tratamiento).
El efecto Hawthorne: saber que están siendo observados/estudiados puede llevar a los sujetos a comportarse de manera diferente.
Esto podría crear un error de medición sistemático tanto en los grupos de tratamiento como en los de control.
También podría resultar de una mayor atención prestada al grupo de tratamiento, deshaciendo la creación de grupos de tratamiento y control equivalentes creados a través de la asignación aleatoria
Recolectar datos de la forma más discreta posible.
En la medida de lo posible, nadie más que el propio sujeto debe conocer a qué condición de tratamiento fue asignado.
Encuestadores/investigadores deberían desconocer la condición de tratamiento de los sujetos.
No debemos hacer mediciones adicionales para el grupo de tratamiento.
Manejar los grupos de tratamiento y control de manera diferente significa que las diferencias observadas en las variables de resultado entre estos grupos pueden deberse al tratamiento y/o al manejo diferente.
Los ejemplos incluyen el uso de diferentes cuestionarios para la recolección de datos o rondas adicionales de recolección de datos para el grupo de tratamiento con la intención de obtener información sobre los mecanismos.
Recuerde diseñar su estudio y sus encuesta para tratar todos los brazos de tratamiento por igual, excepto por el tratamiento en sí.